11241
10481 
Próbuję uzyskać RabbitMQ z Celery i Django na instancji EC2, aby wykonać całkiem podstawowe przetwarzanie w tle. Używam Rabbitmq-Server 2.5.0 na dużej instancji EC2.
Pobrałem i zainstalowałem klienta testowego zgodnie z instrukcjami tutaj (na samym dole strony). Właśnie odpuściłem skrypt testowy i otrzymałem oczekiwany wynik:
szybkość odbioru: 2350 msg / s, min / śr / max opóźnienie: 588078478/588352905/588588968 mikrosekund
szybkość odbioru: 1844 msg / s, min / avg / max latency: 588589350/588845737/589195341 mikrosekund
szybkość odbioru: 1562 msg / s, min / średnio / max opóźnienie: 589182735/589571192/589959071 mikrosekund
szybkość odbioru: 2080 msg / s, min / śr / max opóźnienie: 589959557/590284302/590679611 mikrosekund
Problem polega na tym, że zużywa niesamowitą ilość procesora:
PID USER PR NI VIRT RES SHR S% CPU% MEM CZAS + POLECENIE
668 królik mq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 beam.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1,2 0: 24,75 java
Wcześniej testowałem na mikroinstancji i całkowicie pochłaniało ono wszystkie zasoby instancji.
Czy można się tego spodziewać? czy robię coś źle?
Dzięki.
Edytować:
Prawdziwym powodem tego posta było to, że seler wydawał się działać przez chwilę, a potem nagle pochłonął wszystkie zasoby w systemie. Zainstalowałem narzędzia do zarządzania rabbitmq i badałem, w jaki sposób tworzone są kolejki z selera i zestawu testowego rabbitmq. Wydaje mi się, że seler sierota te kolejki i nie odchodzą.
Oto kolejka wygenerowana przez zestaw testów. Tworzona jest jedna kolejka, a wszystkie wiadomości trafiają do niej i wychodzą:
Celerybeat tworzy nową kolejkę za każdym razem, gdy uruchamia zadanie:
Ustawia parametr automatycznego usuwania na true, ale nie jestem do końca pewien, kiedy te kolejki zostaną usunięte. Wydają się po prostu powoli gromadzić i zjadać zasoby.
Czy ktoś ma pomysł?
Dzięki.
2021-01-29 08:18:08 
Ok, wymyśliłem to.
Oto odpowiednia dokumentacja:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Stare wyniki nie zostaną wyczyszczone automatycznie, więc musisz się upewnić, że wyniki zostały wykorzystane, w przeciwnym razie liczba kolejek ostatecznie wymknie się spod kontroli. Jeśli korzystasz z RabbitMQ 2.1.1 lub nowszego, możesz skorzystać z argumentu x-expires dla kolejek, który wygasa kolejki po określonym czasie, gdy nie będą używane. Wygaśnięcie kolejki można ustawić (w sekundach) za pomocą ustawienia CELERY_AMQP_TASK_RESULT_EXPIRES (domyślnie wyłączone).
|
Aby dodać do rozwiązania Erica Connera jego własnego problemu, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices stwierdza:
Ignoruj ​​wyniki, których nie chcesz
Jeśli nie dbasz o wyniki zadania, ustaw opcję ignore_result, ponieważ przechowywanie wyników marnuje czas i zasoby.
@ app.task (ignore_result = True)
def mytask (…):
coś()
Wyniki można nawet wyłączyć globalnie za pomocą ustawienia CELERY_IGNORE_RESULT.
To, wraz z odpowiedzią Erica, jest prawdopodobnie absolutnym minimum najlepszych praktyk zarządzania zapleczem wyników.
Jeśli nie potrzebujesz zaplecza wyników, ustaw CELERY_IGNORE_RESULT lub w ogóle nie ustawiaj zaplecza wyników. Jeśli potrzebujesz zaplecza wyników, ustaw CELERY_AMQP_TASK_RESULT_EXPIRES, aby zabezpieczyć się przed gromadzeniem nieużywanych wyników. Jeśli nie potrzebujesz go do określonej aplikacji, ustaw lokalne ignorowanie jak powyżej.
|
Twoja odpowiedź
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("snippets", function () {
StackExchange.snippets.init ();
});
});
}, "fragmenty kodu");
StackExchange.ready (function () {
var channelOptions = {
tagi: „” .split („”),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// Muszę uruchomić edytor po fragmentach, jeśli fragmenty są włączone
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("snippets", function () {
createEditor ();
});
}
else {
createEditor ();
}
});
function createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'answer',
autoActivateHeartbeat: false,
convertImagesToLinks: true,
noModals: true,
showLowRepImageUploadWarning: true,
reputationToPostImages: 10,
bindNavPrevention: prawda,
przyrostek: "",
imageUploader: {
brandingHtml: „Obsługiwane przez \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" ikona-svg \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7,94324 47,1084 7,58816C47.4091 7,46349 47,7169 7,36433 48,0099 7,26993C48.9099 6,97997 49,672 6,73443 49,672 5,93063C49.672 5,22043 48,9832 4,61182 48,1414 4,61182C47.4335 4,61182 46,7256 4,9168,26C364,65 46,7251 4,966C3 4,9168,51 4,966,65 4,9164,65 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46,1709 13.2535 46,1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C4184184.492 1448.1709 1448.1709 41,5985 12,6954 41,5985 10,1419V6,59049C41.5985 5,28821 41,1394 4,66232 40,1061 4,66232C39.0732 4,66232 38,5948 5,28821 38,5948 6,59049V9,60062C38,5948 10,8521 38,2696 11,5455 37,0451 11,5954 10 521 35,4954 9,60062V6,59049C35,4954 5,28821 35,0173 4,66232 34,0034 4,66232C32,9703 4,66232 32,492 5,28821 32,492 6,59049V10,1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = d = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.663.4.865 C287.4659.465104.6659.5785.75. .1369 4,56087 21,0134 6,57349 21,0134 9,27932C21.0134 11,9852 23,003 13,913 25,3754 13,913C26,5612 13,913 27,4607 13,4902 28.1109 12,6616C28.1109 12,7229 28.1161 12,7799 28,121 12,8341C26,5612 13,913 27,4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8341C284.1256 12.8341302.83 28.1256 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335ZM97 24.6335ZM97 24.6335ZM24. 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11,95612C1962. 19,8079 13,2535 19,8079 11,9512V8.12928C19.8079 5,82936 18,4879 4,62866 16,4027 4,62866C15,1594 4,62866 14,279 4,98375 13,3609 5,88013C12,653 5,05154 11,6581 4,62866 10,3573 4,62866C9.34336 4,62866 8,57809 4,8993 4,985094.66232C5.47873 6,51203 4,66232 5,00066 5,28821 5,00066 6.59049V11.9512C5. 893 13,2535 11,3711 13,8962 12,4044 13,9157 13,2535 13,8962 13.8962C13.4375 11.9512V8.90741C13.9157 7,58817 13,9157 14,3365 6,91179 15,4269 6.91179C16.402791179 16,8045 16,8045 8,94108 7,58817 d \ 6,91179 3. 87209 0,400291C0,843612 0,400291 0 1,1159 0 1,98861C0 2,87869 0,822846 3,57676 1,87209 3,57676C2,90056 3,57676 3,7234 2,87869 3,7234 1,98861C3,7234 1,1159 2,90056 0,400291 1,87209 # 0,400291Z \ u00 c / a \ u003e ",
contentPolicyHtml: „Wkład użytkowników licencjonowany na mocy \ u003ca href =” https: //stackoverflow.com/help/licensing “\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =” https://stackoverflow.com / legal / content-policy \ "\ u003e (polityka treści) \ u003c / a \ u003e",
allowUrls: true
},
onDemand: prawda,
discardSelector: ".discard-answer"
, natychmiastShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Dziękujemy za przesłanie odpowiedzi na temat Stack Overflow!
Pamiętaj, aby odpowiedzieć na pytanie. Podaj szczegóły i udostępnij swoje badania!
Ale unikaj…
Proszenie o pomoc, wyjaśnienia lub odpowiadanie na inne odpowiedzi.
Wygłaszanie oświadczeń na podstawie opinii; Poprzyj je referencjami lub osobistym doświadczeniem.
Aby dowiedzieć się więcej, zapoznaj się z naszymi wskazówkami dotyczącymi pisania doskonałych odpowiedzi.
Wersja robocza zapisana
Wersja robocza odrzucona
Zarejestruj się lub zaloguj
StackExchange.ready (function () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Zarejestruj się za pomocą Google
Zarejestruj się za pomocą Facebooka
Zarejestruj się przy użyciu adresu e-mail i hasła
Zatwierdź
Opublikuj jako gość
Nazwa
E-mail
Wymagane, ale nigdy nie pokazywane
StackExchange.ready (
function () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-konsumując-ton-procesora% 23new-odpowiedz', question_page ');
}
);
Opublikuj jako gość
Nazwa
E-mail
Wymagane, ale nigdy nie pokazywane
Opublikuj swoją odpowiedź
Odrzucać
Klikając „Opublikuj odpowiedź”, akceptujesz nasze warunki korzystania z usługi, politykę prywatności i politykę dotyczącą plików cookie
Nie szukasz odpowiedzi? Przeglądaj inne pytania oznaczone tagiem django rabbitmq seler lub zadaj własne pytanie.